Sự phát hiện ra axít sulfuric được gắn với nhà hoá học và là nhà giả kim thuật Hồi giáo, Jabir ibn Hayyan vào thế kỷ thứ VIII. Trong thế kỷ thứ IX, bác sĩ và nhà giả kim thuật người Ba Tư Ibn Zakariya al-Razi là người đã thu được chất này bằng cách chưng cất khô các loại khoáng chất như sulfat sắt (II) ngậm 7 phân tử nước (FeSO4 • 7H2O và đồng (II) sulfat ngậm 5 phân tử nước (CuSO4 • 5H2O. Khi bị nung nóng, các hợp chất này bị phân hủy tương ứng thành Sắt (II)Oxit và Đồng (II)Oxit, giải phóng nước và triôxít lưu huỳnh, chúng kết hợp với nhau tạo thành một dung dịch loãng của axít sulfuric. Phương pháp này đã được phổ biến tới châu Âu thông qua việc dịch các luận thuyết và sách Hồi giáo bởi các nhà giả kim thuật châu Âu, chẳng hạn như người Đức Albertus Magnus (thế kỷ XIII).

Axit sunfuric được các nhà giả kim thuật châu Âu thời trung cổ biết tới như dầu sunfat, linh hồn của sunfat hay đơn giản là sunfat. Từ sunfat (vitriol) có nguồn gốc từ Latinh, nghĩa là 'kính', gợi đến bề ngoài trong suốt của muối sunfat, những chất cũng được gọi bằng cái tên này. Muối được gọi là sunfat bao gồm đồng (II) sunfat (sunfat xanh lam hay sunfat La Mã), kẽm sunfat (sunfat trắng), sắt (II) sunfat (sunfat lam), sắt (III) sunfat (sunfat của sao Hoả) và coban sunfat (sunfat đỏ).

Sunfat được coi như chất căn bản quan trọng trong giả kim thuật, được dùng để tạo ra đá trường sinh. Sunfat đậm đặc được dùng như chất trung gian khi phản ứng với các chất khác, do axit không phản ứng với vàng, sản phẩm cuối cùng của quá trình giả kim. Tầm quan trọng của sunfat đối với giả kim thuật được nhấn mạnh trong phương châm của giả kim thuật Visita Interiora Terrae Rectificando Invenies Occultum Lapidem nghĩa là "Đi sâu vào lòng đất, bạn sẽ tìm ra viên đá bí mật/ được cất giấu", trong L'Azoth des Philosophes được viết bởi nhà giả kim thuật thế kỷ thứ XV Basilius Valentinus.

Trong thế kỷ XVII, nhà hóa học người Đức-Hà Lan Johann Glauber đã điều chế axít sulfuric bằng cách đốt lưu huỳnh cùng với kali nitrat (KNO3), với sự có mặt của hơi nước. Khi KNO3 bị phân hủy, nó ôxi hóa lưu huỳnh thành SO3, là chất kết hợp với nước để tạo ra axít sulfuric. Trong năm 1736, Joshua Ward, một dược sĩ người Luân Đôn đã sử dụng phương pháp này để bắt đầu việc sản xuất hàng loạt axít sulfuric lần đầu tiên.

Năm 1746 ở Birmingham, John Roebuck bắt đầu sản xuất axít sulfuric theo cách này trong các bể chì, là những thiết bị khỏe hơn và ít đắt tiền hơn cũng như có thể chế tạo lớn hơn so với các loại đồ chứa bằng thủy tinh đã sử dụng trước đây. Công nghệ bể chì này cho phép công nghiệp hóa việc sản xuất axít sulfuric hiệu quả hơn và cùng với một số cách làm tinh khiết thì nó đã là phương pháp chuẩn để sản xuất trong gần như hai thế kỷ.

Axít sulfuric của John Roebuck chỉ chứa khoảng 35–40% a xít. Các phương thức làm tinh khiết sau này trong công nghệ bể chì của nhà hóa học người Pháp Joseph-Louis Gay-Lussac và nhà hóa học người Anh John Glover đã cải thiện nó tới 78%. Tuy nhiên, việc sản xuất một số thuốc nhuộm và các hóa chất khác đòi hỏi phải có sản phẩm đậm đặc hơn, và trong suốt thế kỷ XVIII điều này chỉ có thể thực hiện bằng cách chưng cất khô các khoáng chất với kỹ thuật tương tự như các công nghệ nguyên thủy của giả kim thuật. Pyrit (đisulfua sắt, FeS2) đã bị nung nóng trong không khí để tạo ra sắt (II) sunfat (FeSO4), chất này bị ôxi hóa bằng cách nung nóng tiếp trong không khí để tạo ra sắt (III) sulfat (Fe2(SO4)3), là chất khi bị nung tới 480 °C bị phân hủy để tạo ra sắt(III) oxit và triôxít lưu huỳnh, chất này cho qua nước để tạo thành axít sulfuric với nồng độ bất kỳ. Chi phí cao của công nghệ này đã ngăn cản việc sản xuất/sử dụng đại trà axít sulfuric đậm đặc.

Năm 1831, nhà buôn dấm người Anh Peregrine Phillips đã lấy bằng sáng chế cho công nghệ kinh tế hơn để sản xuất triôxít lưu huỳnh và axít sulfuric đậm đặc, ngày nay được biết đến như là công nghệ tiếp xúc. Cuối cùng thì tất cả các nguồn cung cấp axít sulfuric trên thế giới ngày nay đều sản xuất theo phương pháp này.